Samba-1の特徴とは

　Samba-1とは、SambaNova Systemsによって開発された、企業向けの1兆パラメータ規模の大型言語モデルである。

　同モデルは、OpenAIが提供するGPT-4のような単一の巨大モデルではなく、50以上のAIモデルを組み合わせた「Composition of Experts」アーキテクチャを採用しているのが特徴だ。個々のモデルが独立して機能しつつ、状況に応じて柔軟に連携することで、全体として高いパフォーマンスを発揮することが可能になるという。

　Composition of Expertsアーキテクチャでは、各エキスパートモデルがそれぞれ独自のデータセットで学習されるため、データのセキュリティとプライバシーを保持しつつ推論を行うことが可能だ。複数のモデルを組み合わせるアプローチは、フランスのAIスタートアップMistralが最近リリースしたMixtralモデルでも採用されている。

　一方、このアプローチは「Mixture of Experts」と呼ばれるもので、SambaNovaいわく、同社の「Composition of Experts」とは異なる。「Mixture of Experts」アプローチでは、1つのエキスパートモデルが複数のデータセットで学習されるため、データ漏えいのリスクが高まるというのだ。

　Samba-1を構成するエキスパートモデルには、LLaMA 2、Mistral、DeepSeek Coder、Falcon、DePlot、CLIP、Llavaなど、SambaNovaと他社の優れたオープンソースモデルが含まれている。SambaNovaは、最適なモデルを選定し最適化した上で、1兆パラメータ規模のモデルに統合した。

GPT-4とどちらが優れている？

　そんなSamba-1は、GPT-4に機能面でどこまで近づいているのだろうか。

　SambaNovaは、Samba-1の性能を評価するために「Enterprise Grade AI（EGAI）」と呼ばれる独自のベンチマークテストを実施している。

　EGAIベンチマークは、オープンソースコミュニティで広く採用されている一連のベンチマークテストのコレクションで、特に企業のユースケースに関するタスクでのパフォーマンスを評価するものとなっている。

　このEGAIベンチマークの結果を見ると、Samba-1は情報抽出、APIを用いた情報検索、APIドキュメントの理解、数学的推論、コンテンツ評価、テキストからのSQL変換、プログラミング、テキスト編集など、幅広いタスクにおいて、GPT-3.5やGPT-4と同等かそれ以上の性能を示している。


　特にGPT-4に対しSamba-1の強みが示されたのが、テキストからのSQL変換タスクだ。Samba-1内のエキスパートモデル「SambaCoder-nsql-llama-2-70b」はSQLクエリの生成に特化したモデルで、Spiderベンチマークで78.1％の精度を達成。GPT-4の76.2％を上回る結果となった。

　このSpiderベンチマークでは、たとえば、「このデータベースにおける収入が最も高い従業員は誰ですか？」という自然言語のクエリに対して、“SELECT name FROM employees ORDER BY income DESC LIMIT 1;”というSQLクエリに変換するなどのタスクが与えられる。これは、Samba-1がエキスパートモデルの組み合わせによって非常に高い専門性を発揮できることを示す好例と言えるだろう。 【次ページ】GPT-4を30％上回った「強み」とは